Self-Policy Distillation via Capability-Selective Subspace Projection
通过能力选择性子空间投影的自策略蒸馏
🧭 LLM 自蒸馏 · 能力选择性子空间
University of Cambridge · HKUST · University of Chicago
无需外部信号的自我蒸馏方法，利用低秩能力子空间投影筛选自生成数据，显著提升LLM特定能力
📌 工作参考价值（4 点）
- 在无外部信号（如标注数据、奖励模型）的场景下，可通过能力子空间投影从模型自身梯度中提取任务相关特征，实现自我蒸馏，适用于电商对话、推荐理由生成等任务的低成本优化。
- 利用 KV 缓存投影到低秩能力子空间，相当于在自生成过程中隐式施加“能力滤波器”，可稳定提升特定能力（如商品推荐的合理性、数学推理），避免无关特征干扰。
- 方法具备良好的域外泛化性（15% 提升），可跨任务迁移，适合在电商多任务场景下统一提升模型的多方面能力。
- 工程实现上，只需在自生成前向过程中插入一次投影操作，与标准下一 token 预测损失结合，无需修改训练目标，易于集成到现有 LLM 微调流程中。